Ausblick

Eine Bewertung der Leistungsfähigkeit von Translation Memories bzw. Satzar-chiv-Modulen vollautomatischer Übersetzungssysteme stellt unterschiedliche Anforderungen an das Evaluierungsszenario, das Datenmaterial und die Durch-führung der Evaluierung. Voraussetzungen hierzu wurden in der abschließenden Diskussion des vom Arbeitskreis " Maschinelle Übersetzung " veranstalteten Workshops auf der Basis der Beiträge formuliert, die in diesem Band zusammen-gestellt wurden, um einzelne Schritte des Evaluierungsvorhabens festzulegen. Ausgangspunkt der Diskussion um Qualitätsanforderungen und mögliche Test-prozeduren bildete das von der EAGLES-Arbeitsgruppe " Assessment and evaluation " [EAGLES96] entworfene Standardverfahren zur Evaluierung von NLP-Software, das sich an der ISO-Norm 9126 orientiert und im wesentlichen als drei-stufiges Verfahren konzipiert ist. 1 Die dort formulierten Qualitätskriterien für na-türlichsprachige Systeme umfassen Funktionalität (functionality), Zuverlässig-keit (reliability), Brauchbarkeit (usability), Leistungsfähigkeit (efficiency), Wart-barkeit (maintainability) sowie Portierbarkeit (portability) des jeweils untersuch-ten Softwareproduktes. In einem eigens für Translation-Memory-Systeme entworfenen Evaluations-design wird darüber hinaus zwischen sogenannten on-line-Funktionen und off-line-Funktionen von TMs unterschieden. Zu den off-line-Funktionen werden die Art der Textanalyse, die Möglichkeiten des Imports und Exports von Text in die TM-Datenbank, die Segmentierung der Texteinheiten bei der Übersetzung und beim Alignment, d.h. dem Import bereits übersetzer Texte und deren quellsprachi-gen Dokumenten in synchronisierter Form, sowie die für das Alignment selbst zur Verfügung stehenden Funktionen gezählt. Als on-line-Funktionen werden dem-gegenüber Parameter wie die maximale Größe des TM, die Retrieval-Geschwindig-keit bei der Suche im Übersetzungsarchiv sowie die Trefferquote beim Abgleich eines zu übersetzenden Satzes mit den Daten des TM bezeichnet. Dabei geht in